Tháng 2 năm 378, vua Tiền Tần là Phù Kiên công phá Tương Dương[2]. Tạ Huyền mang quân đi cứu viện, nhưng chưa đến nơi thì Tương Dương đã mất. Tướng giữ thành là Chu Tự bị quân Tần bắt sống.

Phù Kiên sai đại tướng Bành Siêu dẫn 7 vạn quân đi công phá Bành Thành[3]. Tạ Huyền nghe tin lại mang 1 vạn quân đi cứu ứng. Trên đường đi, một mặt ông sai tướng Điền Hoành đến Bành Thành, báo cho quân trong thành biết viện binh sắp đến cứu để yên tâm giữ thành, mặt khác ông chia quân đi cướp quân trang của Bành Siêu ở Thành Lưu[4]. Phù Kiên lo lắng bèn ra lệnh cho Bành Siêu về lo bảo vệ quân nhu. Các tướng Tấn trong Bành Thành là Đái Độn và Đái Lộc hợp binh phá vỡ vòng vây ra ngoài.

Năm 379, Bành Siêu và Câu Nan lại mang quân đánh Đông Tấn, lần lượt chiếm Vu Thai[5] và Hoài Âm[6]. Quân Tấn thua trận, tướng Mao Tảo tử trận còn Mao An bỏ chạy. Quân Tần tập trung 3 vạn quân đánh Tam A[7]. Tạ Huyền xuất phát từ Giang Lăng đi cứu, đánh nhau với quân Tần ở Bạch Mã Đường[8], đánh lui quân Tần, chém tướng Đô Nhan. Tam A được giải vây.

Sau chiến thắng này, triều đình phong ông làm Quán quân tướng quân, thứ sử Từ châu, Đông Hưng quận hầu.